Global Simulation-Guided Dynamic Operator Scheduling for Efficient Multi-Tenant Model Serving
全局仿真引导的动态算子调度实现高效多租户模型服务
🧭 多租户 LLM 推理的算子级动态调度
Xiamen University · Shanghai Jiao Tong University · East China Normal University · Tsinghua University
提出 SliceScheduler，利用全局映射图和模拟器进行算子级动态调度，提升多租户 LLM 推理吞吐 1.10-2.29 倍
📌 工作参考价值（4 点）
- 在部署 LLM-based 推荐/搜索服务时，容器粒度调度会浪费 GPU 碎片时间，可借鉴 SliceScheduler 将调度单位从容器细化到算子，利用短时空闲 slice 提升吞吐。
- 引入全局映射图（GMG）统一描述算子依赖、tensor 形状、资源映射和状态，方便实时全局视角做决策；自己的推理平台可以维护类似有向图，结合模拟器做 what-if 预测。
- 设计增量式模拟调度：生成候选 placement 后用模拟器评估内存和延迟，选择最优不违反 SLA 的方案，避免实际试错成本；可用于多模型混部或流量突增场景。
- 实现为 PyTorch backend，说明算子级调度可以透明集成到现有训练/推理栈，业务侧无需大幅改动模型代码。